iT邦幫忙

2025 iThome 鐵人賽
DAY 1
0
佛心分享-IT 人自學之術

深度學習Tensorflow 2.X系列 第 14 篇

激勵函數

17th鐵人賽
89 瀏覽

  • 分享至 

  • xImage
    •  

Sigmoid函數

優點

  1. 能把輸入的連續實值換為0和1間的輸出，如果是非常大的負數，輸出就是0；如果是非常大的正數，輸出就是1。
  2. 連續的函數，方便求導數。
    缺點
  3. 函數在變量取絕對值非常大的正值或負值時，會出現飽和現象，意味函數值左右兩端會變得很平坦，並對輸入的微小改變會不敏感。
  4. 反向傳播時，當梯度接近0，權重基本不會更新，易出現梯度消失，從而無法完成深層網路訓練。
  5. 計算複雜度高。
  6. 函數輸出不適0均值，會導致後層的神經元輸入是非0均值的訊號，會對梯度產生影響。

    https://ithelp.ithome.com.tw/upload/images/20250912/20168366kMbDLiPU3Q.png

Tanh函數


https://ithelp.ithome.com.tw/upload/images/20250912/20168366nCUSPxeUL3.png

ReLU(REctified Linear Unit，修正線性單元)


https://ithelp.ithome.com.tw/upload/images/20250912/2016836641M2VnGIyr.png


上一篇
類神經網路(Neural Network,NN)
下一篇
激勵函數
系列文
深度學習Tensorflow 2.X 共 31 篇
  1. 27
    使用Dropout
  2. 28
    神經網絡中的正則化：抑制過度擬合的關鍵技術
  3. 29
    深度學習中的影像資料預處理與資料增強
  4. 30
    卷積神經網路：從全連接網路的局限性談起
  5. 31
    卷積層
完整目錄
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
902 組
團體組數
37 組
累計文章數
19831 篇
完賽人數
528 人
iT+看影片追技術 看影片追技術 看更多
熱門tag
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 17th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# linux windows server css react
熱門問題
熱門回答
熱門文章
IT邦幫忙